다음 토큰 예측

학습 내용

예상 소요 시간: 30분

이 레슨을 마치면 다음을 할 수 있습니다:

생성형 AI의 핵심 메커니즘으로서 다음 토큰 예측을 설명하고, 이것이 유창성과 환각을 동시에 만들어내는 이유를 이해한다
다음 토큰 예측 연속선(잘 다져진 경로 vs. 미지의 영역)에서 작업의 위치를 파악한다
구체성(이름, 날짜, 인용, 통계)을 조작이 집중되는 영역으로 식별한다
이 한계를 완화하는 제품 기능(인용, 불확실성 신호, 제한된 생성, 생성기-검증기 패턴)을 인식한다

대규모 자동완성

읽기 전에

"긴 보고서 요약하기" 가 다음 토큰 예측 연속선의 어디에 위치한다고 생각하시나요? 아래 마커를 드래그한 후 예측을 확정하세요.

가능 영역 한계 영역

내 작업

잘 다져진 경로: 요약, 재형식화, 일반 개념 설명 미지의 영역, 희박한 패턴, “사실 vs. 그럴듯하게 들리는 것”

이것이 가능하게 하는 것

거의 모든 스타일과 형식에서 유창하고 자연스러운 텍스트
멀리 떨어진 분야들 간의 아이디어 빠른 종합
모델이 이전에 본 것과 유사한 작업에서의 강력한 성능
어떤 흐름(이야기, 논증, 코드 블록)도 일관성 있게 이어가기

특징적으로 실패하는 곳

환각(Hallucination) : 그럴듯한 이어지는 내용이 항상 사실은 아니다
작화(Confabulation) : 빈틈을 표시하지 않고 그럴듯한 내용으로 채운다
비일관성(Inconsistency) : 샘플링으로 인해 같은 프롬프트가 다른 출력을 낼 수 있다
잘못된 확신(Misplaced confidence) : 매끄러운 문장이 추측을 감쌀 수 있다

한계를 넓히는 제품 기능

인용 및 출처 근거 : 뒷받침된 내용과 생성된 내용을 추적한다
불확실성 신호 : 모델이 자체적인 불안정성을 표시한다
제한된 생성 / 스킬 : 조작이 스며드는 공간을 좁힌다

마커를 드래그하여 "긴 보고서 요약하기" 에 대한 예측을 배치하세요. 켜지는 패널이 주의해야 할 사항을 알려줍니다.

생성형 AI의 핵심은 예측입니다. 지금까지 작성된 모든 내용을 바탕으로 한 번에 하나의 조각씩 다음에 무엇이 올지 예측하는 것입니다. 검색 엔진보다는 매우 정교한 자동완성에 더 가깝습니다. 이 차이가 중요한 이유는, 실제 인용처럼 보이는 인용이 실제로 존재하는 논문을 가리키는 인용만큼이나 패턴을 잘 충족하기 때문입니다. AI에게 잘 알려진 에세이를 요약하라고 하면 깔끔하고 일관된 산문을 얻을 수 있습니다. 수천 번 지나간 잘 다져진 경로이기 때문입니다. 그러나 틈새 하위 분야의 중견 연구자의 최근 논문 세 편을 나열하라고 하면 같은 자신감 있는 어조, 같은 유창한 문장을 얻지만 그 아래의 근거는 훨씬 불안정합니다. 일부는 실제일 수 있고, 일부는 조작일 수 있습니다. 직접 확인해야 합니다.

동일한 생성 과정은 항상 실행되고 있습니다. 변하는 것은 경로가 얼마나 잘 다져져 있느냐입니다. 모델이 수많은 변형으로 접해온 작업들—요약, 재형식화, 일반 개념 설명—은 패턴이 촘촘하고 일관된 가능 영역에 속합니다. 미지의 영역과 모호한 주제는 경계 쪽으로 흘러가며, 모델은 계속 유창하게 생성하지만 정확도는 떨어집니다. 강점과 약점은 같은 속성에서 비롯됩니다. 이를 돕는 제품 기능들이 있습니다. 인용을 통해 뒷받침된 내용과 생성된 내용을 추적할 수 있고, 불확실성 신호는 모델 자체의 불안정성을 표시하며, 제한된 생성은 조작이 스며들 수 있는 공간을 좁힙니다. 그러나 핵심적인 습관은 여러분이 길러야 합니다:

자신감 있는 어조는 정확성의 신호가 아닙니다. 매끄러움과 정확성은 별개입니다.
구체성이 조작이 집중되는 곳입니다: 이름, 날짜, 통계, 인용, 인용문, URL. 주장이 구체적일수록 확인이 더 필요합니다.
특히 위험이 높거나 분야가 낯선 경우, 출력물을 검증해야 할 초안으로 취급하세요.
모델은 근거 있는 내용과 만들어낸 내용을 신뢰할 수 있게 구별하지 못합니다. 그 부분은 여러분이 해야 합니다.

핵심 요약

다음 토큰 예측 은 생성형 AI가 무엇이 뒤따르는 경향이 있는지를 바탕으로 답변을 단어 단위로 작성한다는 사실을 의미합니다.
- 가능 영역: 모델이 여러 번 접한 패턴과 유사한 작업(요약, 재형식화, 일반 개념 설명).
- 한계 영역: 미지의 영역이나 희박한 영역, 그리고 작업이 "사실"과 "사실처럼 들리는 것"을 구별해야 하는 모든 곳.
- 조작은 구체성에 집중됩니다: 이름, 날짜, 통계, 인용, URL, 인용문. 주장이 구체적일수록 검증이 더 필요합니다.
- 인용, 불확실성 신호, 제한된 생성, 생성기-검증기 루프와 같은 제품 기능 은 이 한계를 더 넓히기 위해 특별히 존재합니다.
4D 연결: 다음 토큰 예측은 식별력(Discernment)의 토대입니다. 출력물이 생성된 것임을 아는 것은 어떤 종류의 검토를 적용해야 하는지 정확히 알려줍니다.

연습 문제

연습: 검증 테스트

이유? 이제 AI를 유창하게 만드는 동일한 생성 과정이 조작을 만들어내는 과정임을 알게 되었습니다. 자신의 영역에서, 직접 포착할 수 있는 분야에서 그것을 확인할 시간입니다.

작업 목록으로 돌아가서 자신의 도메인 전문성이 가장 높은 작업을 선택하세요. 결과를 검증할 수 있어야 하기 때문에 자신이 전문가인 주제가 필요합니다. 해당 도메인에서 구체적이고 확인 가능한 사실 다섯 가지를 적어두세요: 사람의 직함, 출판 날짜, 통계, 제품 사양, 직접 인용문, URL. 정확하다고 알고 독립적으로 확인할 수 있는 것들로.

이제 세 가지 탐색을 실행하세요:

탐색 1: 가능 영역. AI에게 자신의 도메인에서 잘 알려진 개념을 설명하거나 요약하도록 요청하세요. 널리 알려지고 문서화된 것으로. 유창성에 주목하세요. 내용을 간략히 확인하세요. 이것이 가능 영역의 느낌입니다: 매끄럽고, 자신감 있으며, 대체로 정확합니다.
탐색 2: 압박 하의 구체성. AI에게 자신의 도메인에서 확인 가능한 구체적 사항 다섯 가지를 제공하도록 요청하세요: 출처 세 개 인용, 저자 이름 대기, 정확한 수치 제시, URL 제공. 모든 것을 검증하세요. 5점 만점으로 채점하세요: 몇 개가 완전히 정확했나요? 조작이 있다면, 그때 얼마나 자신감 있게 들렸는지 기록하세요.
탐색 3: 샘플링 실전. 새로운 대화에서 정확히 같은 구체적 사실 요청을 실행하세요. 두 출력을 비교하세요. 무엇이 일관성 있게 유지되었나요? 무엇이 변했나요? 보이는 변동이 다음 토큰 예측의 샘플링이 작동하는 것입니다.

심화 목표: 인용이 활성화된 도구(예: Claude의 리서치 모드)에서 탐색 2를 다시 실행하세요. 다시 채점하세요. 확인할 출처가 있으면 점수가 달라지나요?

레슨 돌아보기

잘 모르는 도메인에서 조작을 포착할 수 있었을까요?
작업 목록을 살펴보세요: 어떤 작업이 주로 가능 영역에 속하고, 어떤 작업이 검증이 필요한 구체성으로 들어가나요?

다음 내용

다음 토큰 예측은 AI가 어떻게 생성하는지를 설명합니다. 다음에는 무엇 으로부터 생성하는지를 살펴봅니다: 지식(Knowledge) 속성. 모델이 실제로 무엇을 알고 있는지, 그 지식은 어디서 오는지, 그리고 빈틈은 어디에 있는지를 알아봅니다.

피드백

강좌를 진행하면서 강좌의 개념을 업무에 어떻게 활용하고 있는지, 그리고 의견이 있으시면 알려주세요. 피드백을 여기 에서 공유해 주세요.

헤더 탐색